使用最佳子集回归和逐步回归

您所在的位置:网站首页 stepwise logistic regression 使用最佳子集回归和逐步回归

使用最佳子集回归和逐步回归

2023-11-23 00:03| 来源: 网络整理| 查看: 265

逐步回归是模型构建的解释阶段中所使用的一种自动化工具,用以确认预测变量的有用子集。过程在每个步骤中系统地添加最显著的变量,或删除最不显著的变量。

例如,房地产咨询公司收集了过去一年中有关住房销售的数据,目标是预测未来的销售价格。预测变量在 100 个以上时,找出模型可能是很费时的任务。Minitab 的逐步回归功能自动标识要考虑的一系列模型。AICc、BIC、R2、调整的 R2、预测的 R2、S 和 Mallows Cp 等统计量可帮助比较模型。Minitab 对于根据您使用的逐步过程所得到的最佳模型显示完整结果。

Minitab 中的以下分析可以自动执行逐步选择,以便您可以在一组输出中评估许多潜在模型的模型摘要统计信息。统计 > 回归 > 回归 > 拟合回归模型 统计 > 回归 > 二元 Logistic 回归 > 拟合二元 Logistic 模型 统计 > 回归 > Poisson 回归 > 拟合 Poisson 模型 统计 > 方差分析 > 一般线性模型 > 拟合一般线性模型 统计 > DOE > 筛选 > 分析筛选设计 统计 > DOE > 筛选 > 分析二元响应 统计 > DOE > 因子 > 分析因子设计 统计 > DOE > 因子 > 分析二元响应 统计 > DOE > 响应曲面 > 分析响应曲面设计 统计 > DOE > 响应曲面 > 分析二元响应 逐步回归问题

使用变量选择过程(如最佳子集和逐步回归)时需要谨慎。自动过程无法考虑到分析人员对数据可能具有的特殊知识。该过程不能考虑任何预测变量的实际重要性。

与过程无法考虑特殊知识相关的问题是,当两个预测变量高度相关时,该过程只能选择两个预测变量中的一个,即使其中任一预测变量都很重要。例如,该过程可以删除价格低廉且易于测量的预测变量,而选择难以测量且成本高昂的相关预测变量。分析人员必须利用他们对数据的了解,对程序无法考虑的标准做出判断。

逐步过程的另一个问题是,不同的模型可以优化不同的标准。例如,具有最高调整 R2 值的模型不一定是具有最高测试 R2 值的模型。分析人员必须考虑选择最终模型的不同条件。

而且,当您将模型与数据拟合时,拟合优度来自两个基本来源: 数据的基础结构(将适用于以相同方式收集的其他数据集的结构) 分析的数据集的特殊性。

为了确保模型不只是拟合一个特定的数据集,应当针对新的数据集验证由选择过程找到的模型。您还可以获取原始的数据集,随机将其分成两部分,对一部分使用最佳子集来选择模型,然后对第二部分验证拟合。此过程有助于确保所选模型将适用于其他数据集。转到具有自动验证的逐步过程部分,了解可以自动分区数据并计算验证统计信息的命令。

逐步过程

在 Minitab 中包括自动分步过程的所有分析都包括以下过程。以下方法允许您快速评估大量不同模型,以计算用于构建模型的数据的模型摘要统计信息。

标准逐步回归为每个步骤添加或删除预测变量。当不在模型中的所有变量的 p 值都大于指定的入选用 Alpha 值且模型中所有变量的 p 值都小于或等于指定的删除用 Alpha 值时,Minitab 停止。 向前信息标准过程在每个步骤中向模型中添加具有最低 p 值的项。如果分析设置允许考虑非分层项,但要求每个模型具有分层,则其他项可以在 1 个步骤中输入模型。Minitab 计算每个步骤的信息标准。在大多数情况下,该过程将继续,直到出现以下情况之一: 该过程在连续 8 个步骤中没有发现新的标准最小值。 该过程拟合全模型。 该过程拟合误差自由度为 1 的模型。 如果为过程指定要求每个步骤具有分层模型且一次仅允许输入一个项的设置,则该过程将继续,直到它拟合全模型或拟合误差自由度为 1 的模型。Minitab 对于针对选定的信息标准(AIC 或 BIC)具有最小值的模型显示分析结果。 正向选择从空模型或具有您指定的术语的模型开始。然后,Minitab 会为每个步骤添加最显著的项。当不在模型中的所有变量的 p 值都大于指定的入选用 Alpha 值时,Minitab 停止。 向后消元法开始时模型中具有所有预测变量,Minitab 在每个步骤中删除最不显著的变量。当模型中所有变量的 p 值都小于或等于指定的删除用 Alpha 值时,Minitab 停止。 具有自动验证的逐步回归过程对于以下命令,Minitab 中的分析可以包括自动验证技术以及逐步过程。自动验证为分析人员节省时间,在逐步过程后,分析人员会自行执行模型验证。在逐步过程中,以下命令可以将数据划分为训练数据集和测试数据集:拟合回归模型 拟合二元 Logistic 模型

Minitab 可以自动使用测试数据集执行的逐步过程称为正向选择,使用测试数据集进行验证。在此过程中,初始模型为空或包含您专门选择的模型术语。然后,Minitab 在每个步骤中添加具有最小 p 值的下一个潜在术语。Minitab 在每个步骤中计算模型的测试 R2 作为测试数据集上的模型的 R2 值。Minitab 显示的模型结果适用于具有测试 R2 值最大值的模型。

对于拟合回归模型 ,可以选择第二种验证技术,使用称为 k 折交叉验证的逐级选择执行。在 k 折交叉验证中,Minitab 将数据集划分为 k 个子集。子集称为折叠。通常,验证使用 10 折,但其他数字是可能的。折数的观测值数量尽可能接近相等。Minitab 执行正向选择 k 次。对于每个正向选择,k+1 折叠是训练数据集,最后一个折叠是测试数据集。与其他正向选择过程一样,初始模型为空或包含您专门选择的模型术语。然后,Minitab 在每个步骤中添加具有最小 p 值的下一个潜在术语。对于每个步骤,Minitab 通过组合来自不同的逐级选择过程的信息来计算 k 折级 R2 值。

层次结构

分层模型是这样一种模型:对于模型中的每一项,模型中还必须包括该项中所包含的所有低次项。例如,假设一个模型具有以下四个因子:A、B、C 和 D。如果项 A * B * C 在模型中,则项 A B C A * B A * C B * C 也必须在该模型中,但带有 D 的任何项则不必在该模型中。

在步骤中输入或离开模型的术语取决于层次结构的规范。默认情况下,Minitab 统计软件要求每个步骤都有一个分层模型,要求所有术语的层次结构,并且只允许一个术语在每个步骤中输入模型。这些设置限制 Minitab 在每个步骤中考虑的术语。例如,双向交互无法输入模型,除非交互中的两个低阶术语已在模型中。您可以通过单击 层次结构 当您选择一个循序渐进的方法。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3